No es conserven notícies de l'existència o la construcció del claustre fins l'any 1237. Prèviament, en època del bisbe Guillem Jordà (1171-86), es va substituir l'antic porxo de fusta, adossat al mur nord del temple, per una galeria feta amb marbre. Entre 1237 i 1240 es recullen almoines per a construir les galeries oest i nord. Ja en el primer terç del segle XIV es completarà el claustre amb la construcció de la galeria est i la restauració de les altres galeries, molt malmeses per les tropes de Felip l'Ardit en 1285.  Al llarg del segle XIV es construeix un pis superior, que fou destruït l'any 1827, durant la restauració de la catedral.

El claustre presenta la planta d'un quadrilàter irregular. Està fet amb marbre de Ceret, que és blanc amb vena blava. Malgrat haver estat construït en dues etapes ben diferenciades, manté una imatge d'unitat. Les galeries, tant la purament romànica com les construïdes en època gòtica,  estan formades per quatre grups de tres arcs de mig punt, amb doble columna, separats per pilars.  

La galeria sud es va construir inicialment amb una coberta de fusta. En el moment de la construcció de la darrera galeria del claustre, es va substituir per l'actual de voltes d'ogiva. Els nervis d'aquestes cobertes del segle XIV descansen directament en els murs laterals, mentre que en les del segle XIII ho fan en mènsules esculpides.

En el primer capitell de la galeria meridional es van representar vuit grius amb el cap girat ver als angles, a l'estil dels que trobem en el priorat de Serrabona. Al seu costat hi ha un capitell de tipus vegetal a base de palmetes i volutes.

La següent parella de capitells està formada per un capitell a base de lleons passants i lleones corbades, novament amb reminiscències a Serrabona i per un capitell vegetal.

A continuació no trobem una parella de capitells, si no un pilar rectangular, decorat amb flors de quatre pètals.

A continuació trobem lleons alats, similars als que també es representen en el claustre de Cuixà i un altre capitell de tipus vegetal.

En la següent parella de capitells trobem a uns isards i en l'altre, motius vegetals en els que hi ha petits caps humans.

Els motius representats en el pilar són dels més interessants de tot el claustre. En una de les seves cares veiem a Pere fugint de la presó de Roma, on un soldat està donant l'alerta tocant el corn. Pel camí es troba amb el Crist i agenollat li pregunta "Quo vadis Domine" (On vas senyor?). Crist li indica amb la seva mà la ciutat de Romà, on Pere va tornar i va patir el martiri.

En les altres dues cares es representa la conversió de Saule, que a partir d'aquell moment serà conegut com a Sant Pau. Arribant a Damasc amb els presoners cristians, una llum, simbolitzada amb la mà de Deu, el fa caure a terra encegat i li diu "Saule, Saule, per què em persegueixes?".

En l'àbac es van representar serps i altres monstres.

En la següent parella de columnes, veiem un capitell decorat amb quatre sirenes ocell, que tenen les ales desplegades. En l'altre capitell trobem quatre sirenes de doble cua.

A continuació trobem un altre dels capitells més interessants, on es narra el Gènesi. En una cara veiem a Déu modelant a Adam amb argila. En la següent cara Déu crea a Eva a partir de la costella d'Adam, que està ajagut. Com és natural, a continuació es descriu l'escena del Pecat Original, on Adam i Eva estan separats per l'Arbre Prohibit. Eva sosté la poma a la seva mà i s'acosta cap a la serp. Adam, avergonyit,  protegeix les seves parts. El capitell que completa la parella és de temàtica vegetal.

En el tercer pilar d'aquesta galeria, es va esculpir una història difícil d'interpretar. Algunes fonts afirmen que es tractaria d'Herodes en el moment d'ordenar la matança dels innocents. En les altres cares trobem a un griu, un lleó i dos paons esculpits entre uns cercles. Tots tres animals representen les tres naturaleses de Crist (divinitat, humanitat i immortalitat). Una inscripció en l'àbac del pilar ens parla dels avantatges de la vida monacal.

Tres dels quatre darrers capitells d'aquesta galeria tenen el seu fust decorat. En el primer parell de columnes veiem un fust decorat amb una forma helicoïdal, mentre que el més interior està decorat a base de fulles.

Els seus capitells són de tipus vegetals, si bé en un d'ells es poden veure alguns caps humans.

Les dues darreres columnes també tenen els fust decorats. Novament trobem un motiu helicoïdal en una de les columnes, si bé molt més elaborat i en l'altra es va esculpir un motiu geomètric.

Quatre grans ocells amb les ales desplegades decoren un dels seus capitells. L'altre presenta una decoració de tipus vegetal.

Les galeries nord i oest no es van construir fins ben entrat el segle XIII. Presenten una clara transició del romànic cap al gòtic. Es manté l'estructura romànica amb arcs de mig punt, recolzats en parelles de columnes i pilars, però els motius escultòrics ja ens transporten al gòtic.

Els seus capitells i pilars es poden dividir en dos grups: els que són còpies de pitjor qualitat dels de la galeria sud i els de nova factura en estil gòtic.

La temàtica d'aquests capitells nous és bàsicament vegetal i animal, tot i que també podem trobar alguns caps humans.  

La darrera galeria es va construir en el segle XIV en estil plenament gòtic pel que fa a la decoració, malgrat que alguns motius encara continuen amb la tradició romànica.

En els pilars es representen escenes de la vida de Maria i de Jesús emmarcardes amb arcuacions gòtiques trilobades.

Encastats en els murs laterals, trobem nombrosos baix relleus gòtics amb escenes de la Passió de Crist.

També podem trobar un gran ventall de làpides amb epitafis de bisbes i ardiaques de la catedral, així com nombrosos sepulcres.

També es va construir un claustre superior, que va ser enderrocat a principis del segle XIX. Una dotzena dels seus capitells es conserven en el jardí del castell de Villévêque. Altres es conserven dispersats i molts pocs han tornat a Elna.

L'església es comunica amb el claustre mitjançant una senzilla portalada gòtica.